OnePred: Next-Query Prediction via Recursive Intent Memory in Multi-Turn Conversations
OnePred:基于递归意图记忆的多轮对话下一查询预测
🧭 多轮对话下一查询预测 · 递归意图记忆 ★ 深度解读
Tsinghua University · Alibaba Qwen Applications Business Group
提出递归记忆与两阶段RL,用恒定上下文长度预测下一查询,token消耗最高降低22倍,质量优于全历史基线
📌 工作参考价值(4 点)
- 对话式电商的主动查询预测:可直接借鉴递归记忆架构,用小型模型(8B)在每次交互后实时预测用户下一商品咨询或搜索意图,触发预取和缓存,降低感知延迟。
- 记忆压缩的RL训练范式:两阶段RL(先学预测再学压缩)解决了端到端记忆无监督问题,对构建主动对话Agent、推荐对话系统中的状态追踪具有通用性。
- 低成本长对话上下文管理:利用文本形式的记忆替代KV-cache全量历史,使每轮推理token消耗恒定,适合高并发、长会话的线上场景;500 token预算已足够保留意图轨迹。
- 预测评估的量规设计:5点Likert意图评分量表(从完全命中到无关)可迁移至推荐对话的生成质量评估,优于传统n-gram匹配。